![arxiv：2401.08541v1 [cs.cv] 2024年1月16日](/simg/b/b4bb20bd0a066ee3c44f89d87c62f33a6ee27273.webp)
机构名称：
¥ 1.0
本文介绍了IM，这是通过自动回归目标预先训练的视觉模型的集合。这些模型的灵感来自其文本对应物，即大型语言模型（LLMS），并显示出相似的缩放范围。具体来说，我们重点介绍了两个关键发现：（1）视觉特征的尺度具有模型容量和数据量，（2）Objective函数的值与下游任务上模型的性能相关。我们通过预先培训70亿个参数A IM对20亿张图像进行了培训来说明这些发现的实际含义，该参数在Imagenet-1K上具有冻结的躯干，在Imagenet-1K上实现了84.0％。有趣的是，即使在这个规模上，我们也没有观察到性能饱和的迹象，这表明IM可能代表了训练大规模视觉模型的新领域。IM的预训练与LLM的预培训相似，并且不需要任何特定图像的策略来稳定训练。
arxiv：2401.08541v1 [cs.cv] 2024年1月16日
主要关键词
![arxiv：2401.08541v1 [cs.cv] 2024年1月16日PDF文件第1页](/bimg/e/ef2678750d4e370b5f71eb5e8494abcf71d2eea0.webp)
![arxiv：2401.08541v1 [cs.cv] 2024年1月16日PDF文件第2页](/bimg/9/92bb55e0949c5dd5d677b0e645f08160bd5459d3.webp)
![arxiv：2401.08541v1 [cs.cv] 2024年1月16日PDF文件第3页](/bimg/9/9a35b1edbda9208f97c98078e2c18d7e8d5270c5.webp)
![arxiv：2401.08541v1 [cs.cv] 2024年1月16日PDF文件第4页](/bimg/6/6ba118446fa194a55eceedad3df5cfbeb7cc3657.webp)
![arxiv：2401.08541v1 [cs.cv] 2024年1月16日PDF文件第5页](/bimg/3/36991c3f7a4b9db5bf5c73149195931bcf4b02fd.webp)
相关文件推荐
![arxiv：2401.08196v1 [cs.cr] 2024年1月16日](/simg/5/5bb0478276a4b028ca3fad6d478119cce0aad711.webp)
![arxiv：2401.11194v1 [cs.hc] 2024年1月20日](/simg/1/1a3f9ea1c0460303812f0f826c92b9a3cf68e8e6.webp)
![arxiv：2401.05968v1 [cs.cv] 2024年1月11日](/simg/3/33efe67402bfe23c5057d0aa0708a382552940d6.webp)
![arxiv：2401.05233v1 [cs.lg] 2024年1月10日](/simg/1/165b5a4a843a79a37ad3922732811d40d501167f.webp)
![arxiv：2401.06521v1 [cs.cv] 2024年1月12日](/simg/a/ac4e8a79e62bb77bebd81435441586ea29fdf974.webp)
![arxiv：2401.01629v1 [cs.lg] 2024年1月3日](/simg/1/1904bc517d8e8e8c1dd7feb32aa47246b6aebc73.webp)
![arxiv：2401.01814v1 [cs.ai] 2024年1月3日](/simg/9/9e22f37b844b140e65a21cb38f0226d32812aded.webp)
![arxiv：2401.08279v1 [cond-mat.supr-con] 2024年1月16日](/simg/f/f17eaad8e5ad12084321ea6b9e35eaabe5ef293a.webp)
![arxiv：2401.06705v1 [Quant-ph] 2024年1月12日](/simg/1/116e691f70677fe37a4618de363a5823da831b37.webp)
![arxiv：2401.07265v1 [Quant-ph] 2024年1月14日](/simg/e/e05524124b2b8b2904bd1be7db3d54b5351cdf19.webp)
![arxiv：2401.05152v1 [cs.ro] 2024年1月10日-Orbilu](/simg/e/ef4fd1d7b2f276ecd818e7f6c15dc268bf9d3b44.webp)
![arxiv：2401.15177v1 [astro-ph.ep] 2024年1月26日](/simg/c/cdea3285fd3fa4e29ea99a2a6e811cd67dc29c68.webp)
![arxiv：2401.04291v1 [hep-ph] 2024年1月9日](/simg/2/2eb580a22e5ba473df6a08b0340d5b8a9d6e2d70.webp)
![arxiv：2401.02355v1 [Quant-ph] 2024年1月4日](/simg/d/d6bdb8f49131806733e5a9ee48e9f7a807f79467.webp)
![arxiv：2401.16208v1 [hep-ph] 2024年1月29日](/simg/c/c892bb3e7837bb02ea448926724b7b4181832ccc.webp)
![arxiv：2401.04838v1 [nucl-ex] 2024年1月9日](/simg/a/a7392fa710e7128873673417b675fdae90533ac3.webp)
![arxiv：2401.04875v1 [CS.SE] 2024年1月10日](/simg/8/824715e11e174127077f7ac81d15b451baebe585.webp)
![arxiv：2401.00642v1 [CS.CL] 2024年1月1日](/simg/9/933e0c438c3aff6508781cbcc8571c68e57a44d3.webp)
![arxiv：2207.05631v3 [cs.lg] 2024年1月5日](/simg/4/4c13675cd209f27810e1aa2308c7d3e30a96bd4d.webp)
![arxiv：2402.00059v1 [cs.lg] 2024年1月28日](/simg/d/df4199e81fd68f37b31a66ca712d83262d1423f7.webp)
![arxiv：2402.10553v1 [cs.ro] 2024年2月16日](/simg/5/50ab6410c1bde83c8f60ce0ddb3b53f53686316b.webp)
![arxiv：2402.16095v3 [cs.cr] 2024年6月16日](/simg/1/1be9a8ca2461397a2910c71ae223e7c3d5ebc6a4.webp)
![arxiv：2401.01844v1 [cond-mat.str-el] 2024年1月3日](/simg/6/63498544acdbe4553260b977fad19ac9d8359e14.webp)